인공지능 분야에서 시퀀스 모델링은 정적인 스냅샷에서 시간적 흐름으로 초점을 전환합니다. 일반적인 머신러닝 과제에서는 데이터 포인트가 독립적이고 동일하게 분포되어 있다고(IID) 가정하는 경우가 많으며,이는 샘플의 순서가 결과에 영향을 미치지 않음을 의미합니다.
시퀀스 모델링은 이를 명시적으로 거부하며, 세 가지 핵심 축에 집중합니다:
- 위반 순열 불변성: 표 형식 데이터에서는 열 순서가 임의적입니다. 시퀀스에서는 순서가 가장 중요한 특징입니다. "The cat ate the rat"를 "The rat ate the cat"으로 바꾸면 의미론적 정답 이 동일한 토큰임에도 불구하고 근본적으로 달라집니다.
- 자기회귀적 속성: 시점 $t$에서의 관측값이 수학적으로 그 이력($t-1, t-2, \dots, 1$)에 조건화된다고 가정합니다. 이에 따라 정보가 어떻게 변화하는지 포착하기 위한 전이 확률이 필요합니다.
- 가변 길이 매핑: 고정된 28x28 픽셀 격자와 달리, 문장이나 지진파와 같은 시퀀스는 탄력적입니다. 모델은 일관된 파라미터를 사용하여 길이 $N$의 입력을 처리하고 길이 $M$의 출력을 생성해야 합니다.